随机过程

Stochastic Process

随机过程本质是多维随机变量的延申，任一时刻的状态都为随机变量
随机过程与样本函数的关系可以参考总体和样本的关系。

随机过程：依赖于参数 $t \in T$ 的一族无限多个随机变量 ${X_{t}, t \in T}$

给定参数集 $T$ （通常为时间域），对每个 $t \in T$ ， $X_{t}$ 是一个随机变量，所有随机变量 ${X_{t}, t \in T}$ 的集合构成随机过程。

参数集： $T$ 无限实数集， $t \in T$ 看作时间
状态： $X_{t}$ 的观察值 $x_{t}$ 为时刻 $t$ 时的取值；在固定 $t$ 时， $X_{t}$ 是随机变量，描述系统在时刻 $t$ 的瞬时状态
状态空间： ${X_{t}, t \in T}$ 对于一切 $t \in T$ ， $X_{t}$ 的一切可能取值的全体/所有可能状态取值的集合
样本函数/样本曲线： $x (t), t \in T$ 对随机过程进行一次试验（在 $T$ 上进行一次全局观测），得到的一个函数

根据在任一时刻 $t$ 的状态 $X_{t}$
- 连续型随机过程（ $X_{t}$ 连续型随机变量）
- 离散型随机过程（ $X_{t}$ 离散型随机变量）
根据参数集 $T$
- 连续参数随机过程（ $T$ 为有限区间或无限区间）：使用 $X (t) = X_{t}$ 表示对时间 $t$ 的依赖关系
- 离散参数随机过程（ $T$ 为离散集合）：又称为时间序列

实际例子

布朗运动（连续参数+连续状态）
$T = [0, \infty)$ , $S = R$ ，描述悬浮粒子受分子碰撞的轨迹。
样本函数：连续但不可微的路径。
泊松过程（连续参数+离散状态）
$T = [0, \infty)$ , $S = {0, 1, 2, \dots}$ ，描述单位时间内事件发生次数（如电话呼叫）。
样本函数：单调递增的阶梯函数。
马尔可夫链（离散参数+离散状态）
$T = {0, 1, 2, \dots}$ , $S$ 有限，描述状态转移（如天气变化）。
样本函数：状态跳转序列（如“晴-雨-晴-阴”）。

随机过程在任一时刻的状态都为随机变量，可以借助随机变量的统计方法来描述随机过程的统计特性

分布函数完善刻画随机过程的统计特性

一维分布函数：对于每一个固定的时间 $t$ , 有分布函数

\begin{array}{r} F_{X} (x; t) = P {X (t) \leq x} x \in R \end{array}

一维分布函数族：刻画了随机过程在各个时刻的统计特性

\begin{array}{r} {F_{X} (x, t), t \in T} \end{array}

n 维分布函数：对于每一个固定的时间 $t$ , 有分布函数

\begin{array}{r} F_{X} (x_{1}, x_{2}, \dots, x_{n}; t_{1}, t_{2}, \dots, t_{n}) = P {X (t_{1}) \leq x_{1}, X (t_{2}) \leq x_{2}, \dots, X (t_{n}) \leq x_{n}} x_{i} \in R \end{array}

n 维分布函数族：刻画随机过程在不同时刻状态之间的统计联系

\begin{array}{r} F_{X} (x_{1}, x_{2}, \dots, x_{n}; t_{1}, t_{2}, \dots, t_{n}), t_{i} \in T \end{array}

统一使用随机变量中矩的概念来进行数字特征的描述

最重要的是均值函数和自相关函数，刻画了随机过程的主要统计特性

对于 ${X (t), t \in T}$

均值函数：

\begin{array}{r} μ_{X} (t) = E [X (t)] \end{array}

均方值函数：二阶原点矩

\begin{array}{r} Ψ_{X}^{2} (t) = E [X^{2} (t)] \end{array}

方差函数：二阶中心矩

\begin{array}{r} σ_{X}^{2} (t) = D_{X} (t) = V a r [X (t)] = E {[X (t) - μ_{X} (t)]^{2}} \end{array}

自相关函数：对任意 $t_{1}, t_{2} \in T$ 的随机过程的二阶混合原点矩

\begin{array}{r} R_{X X} (t_{1}, t_{2}) = R_{X} (t_{1}, t_{2}) = E [X (t_{1}) X (t_{2})] \end{array}

自协方差函数：对任意 $t_{1}, t_{2} \in T$ 的随机过程的二阶混合中心矩

\begin{array}{r} C_{X X} (t_{1}, t_{2}) = C o v [X (t_{1}), X (t_{2})] = E {[X (t_{1}) - μ_{X} (t_{1})] [X (t_{2}) - μ_{X} (t_{2})]} \end{array}

对于每一个 $t \in T$ ，随机过程 ${X (t), t \in T}$ 的二阶原点矩都存在

\begin{array}{r} Ψ_{X}^{2} (t) = E [X^{2} (t)] \end{array}

则根据柯西-施瓦茨不等式：二阶矩过程的自相关函数总是存在的

更为特殊的二阶矩过程，每一个有限维分布都是正态分布